Generative Social Choice

KJ法ではグループに集めてからラベルをつける、この方法ではまずラベルを生成する

LLMによってこの「思考」が手法を記述しなくてもできるようになった

ラベルを生成してから、参加者がそのラベルによって代表される集合に入るかどうかを判定する

集合に入る人(の意見)を取り除くことで「多数派意見」で代表されない少数者の意見にフォーカスできる

【Gen(Generative Query)】

役割：

Genクエリは、与えられた参加者集合 S と整数 r を引数とし、「S の中で少なくとも r 人が高い効用を得るようなステートメント α」をLLMに生成させる。要するに、このクエリは「指定された参加者グループが満足しうる最良のステートメントを新たに生み出す」操作を行う。

必要性と意義：

従来の社会的選択は、固定された候補集合から選ぶだけだったが、ここではLLMが参加者の自由回答を理解して「参加者グループSに受け入れられる」ステートメントを新しく生成できるため、より多様で中間的な立場や、参加者の潜在的コンセンサスに近いステートメントを発見できる。

Generative Queryにより、元から存在しない折衷案やコンセンサス文を取り出すことが可能になり、従来困難だった複雑な課題に対する民主的な意見集約が行える。

Genクエリの目標と実行手順の例：

システムは、あるステップで、まだ満足されていない参加者の集合 S と、そこから何人分の「最低限の満足」を狙うかを示すパラメータ r を決める。

LLMに対し、S の参加者が以前述べた回答を要約した情報（S の自由回答や既存評価の要約）をプロンプトとして与え、「S のうち最低 r 人が満足するステートメントを考案せよ」と依頼する。

LLMが複数のステートメント候補を生成し、続いてDiscクエリを用いて、それらステートメントがS内の参加者に与える効用を計算、その中から目的に適う最良のステートメントを選ぶ。

実装上の工夫：

単純にS全員の情報を一括でLLMに渡すと、コンテキストウィンドウの制約で困難な場合がある。また、1回の生成で必ず最適解が出るとは限らない。

実際の実験では「アンサンブル戦略」を用いる：

全員分をまとめたプロンプトでステートメント生成

少数の代表的な部分集合（5人や10人単位など）に対するプロンプトで生成したステートメント

クラスタリングなどの手法で似通った意見の参加者を抽出したグループから得たステートメント

など、複数経路で複数案を生成し、それらに対してDiscクエリを適用して最大効用となるステートメントを選択する。

【要約】

本研究は、社会的選択理論（社会全体の選好を集約して意思決定を行う理論）を、LLM（大規模言語モデル）の生成能力と組み合わせる新たな枠組み「Generative Social Choice」を提案する。従来の社会的選択理論は、あらかじめ定義された少数の選択肢間で投票・集約するモデルであり、自由記述の意見や多様な選択肢への対応は困難だった。これに対し、本研究はLLMを利用し、

個々人の自由記述的な意見を入力にして、従来想定しなかったような新たなテキスト的選択肢（ステートメント）を生成する

LLMを「オラクル」（理想的な照会先）とみなす理論的ステップで比例的代表性などの厳密な条件を満たす決定過程を設計

実際にはLLMで近似的にそのオラクル機能を実現する実験を行う

という二段階の手法を提示する。

この新手法は、自由記述の多数意見を少数の代表的なステートメントへと要約（スレート）し、それが参加者の多様な価値観を十分代表し得ることを実証する。具体的な実験では100名の米国居住者からチャットボットのパーソナライズ化に関する自由回答を集め、LLMを用いて代表的な5つの意見ステートメントを生成・選定。その後、別の100名への検証調査で93%が「mostly」あるいは「perfectly」のレベルで自分の意見が反映されていると回答した。

【解説】

本研究の革新点は、LLMの生成的能力を使い、参加者が提示した自由文テキストから意見集合を「動的に生成した選択肢」へと変換し、それらの選択肢を満たす代表性条件（正当化された比例的代表性）に基づいて公正なスレートとして抽出する点である。これにより、複雑かつ未規定の政策論点や価値観を多数決で集約可能となる。また、研究は理論的側面（理想オラクルへのアクセスを仮定した場合の公正性保証）と実証的側面（実際のLLMによる近似実行と評価）の二面で進められており、将来より高性能なモデルが登場すれば、代表性の確保がさらに容易かつ精度高くなると見込まれる。

---

【全体の流れ】

本研究は、自由形式で書かれた参加者意見（テキスト）を、代表的なステートメント（意見表明文）に要約・抽出し、その選定を社会的選択理論上の比例的代表性（Balanced Justified Representation; BJR）と呼ばれる条件に沿って行う「民主的プロセス」を提示する。

このプロセスは以下の2ステップに分けて考えられる。

理想的なオラクルへのアクセスを仮定する理論段階

LLMを「完璧なオラクル」と仮定し、必要なクエリによって「任意のグループに対して理想的なステートメント」を取り出せると考える。この段階では、オラクルへのアクセスを前提に、比例的代表性(BJR)を満たすようなステートメント選定アルゴリズムを設計し、正当性を数理的に証明する。

実際のLLMを用いた近似実装と検証

現実にはLLMは「完璧なオラクル」ではない。そのため、理想的クエリをLLMで近似実装し、どの程度オラクルに近い振る舞いを得られるかを実験的に検証する。

【用いられるクエリ（問い合わせ）型】

本手法では、LLMへの問い合わせを2種類用意する。

Discriminative Query (Disc)：

あるエージェント（参加者）の自由回答テキストと、任意のステートメントを与えると、そのエージェントがそのステートメントに対してどの程度の効用（好みの度合い）を持つかをLLMが推測する。

これにより、参加者が明示的に評価していない新規ステートメントにも、過去の回答から好みを外挿（Extrapolate）して評価できる。

Generative Query (Gen)：

「指定したエージェント集合Sが最大限満足するステートメントをLLMに生成させる」クエリ。例えば、Sの中で最低効用が最大になるようなステートメント、または特定の閾値を超える効用を持つステートメントを導くために、LLMが新たなテキスト的代替案を生成する。

このGenクエリにより、あらかじめ存在しなかった中間的、あるいは折衷的な意見をシステム側で能動的に「生み出す」ことが可能になる。

【BJR（Balanced Justified Representation）条件を満たすアルゴリズム】

論文では、Greedy Approval Votingに似た手順を拡張して用いる。概略は以下の通り。

全参加者集合Nとスレートサイズk（要約ステートメント数）を定義。

繰り返し手順：

まだ代表されていない参加者のサブセットSを考え、その中から n/k 人程度を代表できるステートメントをGenクエリで生成する。

Discクエリで、その生成ステートメントがS内の参加者によってどの程度支持されるかを評価し、そのステートメントをスレートに追加する。

当該ステートメントで十分満足できる参加者を「代表された」とみなし、集合Sから除く。

この手順をk回繰り返し、k個のステートメントを選ぶと、BJRを満たすスレートが得られることを理論的に証明している。

【実装上の工夫】

LLMにはプロンプトが長さ制限があるため、多数の参加者データを一度に投入できない問題がある。このため、提案手法では、必ずしも全員分を一度に処理するのではなく、サンプリングや近似を用いた方法が検討されている。

Generative Queryは1回のLLM呼び出しで最適なステートメントを確定するのが難しい。そのため、本研究では複数パターンでステートメント案を生成し、Discriminative Queryを使って最もスコアの高いステートメントを選ぶ「アンサンブル・アプローチ」を用いている。

【評価実験】

実証実験では、米国居住者100名から「チャットボットのパーソナライズ」について自由回答を得て、その後に本手法により5つの代表的ステートメントを抽出。その後、別の100名に対して、この5つのステートメントを提示し、自分の意見にどの程度合致するかを評価させた。その結果、93%が「mostly」または「perfectly」と回答した。

【まとめ】

・Discriminative Queryで任意のステートメントに対する参加者評価をLLMで推測。

・Generative Queryで参加者集合に適した新たなステートメントをLLMで生成。

・これらのクエリを組み合わせ、Greedyな選定アルゴリズムによってBJRを達成するスレートを構成する。

・実際のLLMを用いて近似実装し、実験で高い代表性を確認。

このように、LLMを使った2種類のクエリによって、自由テキスト回答から比例代表的な合意形成を可能にする具体的な手法を提示している。